Hầu hết hẻm núi được hình thành từ quá trình xói mòn dài từ một mức độ cao nguyên hoặc bình nguyên. Những vách đá hình thành vì những địa tầng đá cứng hơn mà kháng cự lại được xói mòn và phong hóa lộ ra trên sườn thung lũng.

Hẻm núi phổ biến hơn nhiều ở vùng khô cằn so với vùng ẩm ướt vì phong hóa vật lí có nhiều tác động cục bộ hơn ở vùng khô. Gió và nước từ sông kết hợp để xói mòn và cắt đi những vật liệu có sức kháng cự thấp như đá phiến sét. Sự đông lạnh và giãn nở của nước cũng giúp hình thành hẻm núi. Nước chảy vào vết nứt giữa đá và đóng băng, để đá tách ra và cuối cùng tạo thành khoảng trống lớn, quá trình này được gọi là sự chêm băng.[2] Tường hẻm núi thường được tạo thành từ đá sa thạch hoặc đá hoa cương có sức kháng cự cao.

Đôi khi sông lớn chảy qua hẻm núi là kết quả của sự nâng lên dần dần về mặt địa chất. Chúng được gọi là sông bị bọc bằng hào, bởi vì chúng không dễ dàng thay đổi dòng chảy. Ở Hoa Kỳ, sông Colorado ở Tây Nam và Sông Snake ở Tây Bắc là hai ví dụ của sự nâng mảng kiến tạo.

Hẻm núi thường hình thành ở khu vực đá vôi. Vì đá vôi hòa tan được tới một mức độ nhất định, hệ thống hang hình thành trong đá. Khi hệ thống bị sụp đổ, chỉ còn lại hẻm núi, như ở đồi Mendip tại Somerset và Yorkshire Dales ở Yorkshire, Anh.

Hẻm núi hộp

Hẻm núi hộp là một hẻm núi nhỏ mà thường ngắn và hẹp hơn hẻm núi sông, với tường dốc ở hai bên, chỉ cho phép tiếp cận qua cửa hẻm. Hẻm núi hộp thường được sử dụng ở Tây Hoa Kỳ làm nơi quây động vật tiện lợi, với hàng rào ở lối vào.[3]